条件随机场在病理图像分析中的应用

摘要

病理图像分析是许多疾病临床诊断必不可少的步骤，机器学习特别是深度学习的方法可以大大提高诊断效率。由于病理图像相邻小区域之间通常具有明显的空间相关性，近年来通过条件随机场将空间信息融合到神经网络中的方法取得了较好的效果。本文首先介绍条件随机场的基本概念，然后展示条件随机场配合神经网络在病理图像分析中的4个应用实例。

背景介绍

癌症是全球第二大死因，每年有近1000万人死于癌症。通过早期癌症诊断获取更准确的病理参数，为后续治疗策略提供更可靠的参考依据，对提高治愈率，降低癌症死亡率和减少治疗成本有重要作用。世界卫生组织（WHO）在2017年癌症早期诊断指南中提到，病理图像分析是各种疾病尤其是癌症的早期诊断的关键要素之一[1]。

纯人工的病理图像分析过程十分繁琐，只有少数经验丰富的病理学家能够进行详尽的检查和分析，且分析结果具有一定的主观性，可能出现误诊的情况。为实现更加标准化和客观的诊断，计算机辅助诊断（Computer-Aided Diagnosis）应运而生，大量将先验知识和训练数据相结合的方法得到了广泛应用。

这些数据驱动的方法所能达到的准确率依赖于数据标签的质量，而病理图像中每个元素的标签与其附近其它元素的标签紧密联系。比如在处理全视野组织学影像（Whole Slide Image）时，由于其大小通常是100,000*100,000量级，需要将其裁剪为大量的小图像块进行处理，在这种情况下，若一个图像块标签为癌变区域，与其相邻的图像块标签为癌变区域的概率很大。然而，目前已有的一些算法，包括一些基于深度学习的方法中，都没有很好地利用病理图像的空间特性。因此，在这些算法中引入能够融合空间特性的结构化模型可以进一步提升精度，目前条件随机场模型的引入已经取得了较好的效果。

条件随机场简介

条件随机场（Conditional Random Field）模型在很多领域都有广泛的应用，如自然语言处理中的命名实体识别任务以及计算机视觉中的图像分割任务在加入条件随机场模型后都能获得更好的效果。有关条件随机场的详细介绍可以参考Charles Sutton的文章[2]，这里简述其优势，并对相关概念做简要讨论。

条件随机场可以理解为逻辑回归（Logistic Regression）分类器对任意图形结构的扩展，或者是结构化数据生成模型（如HMM）的判别性模拟，与其他常见的概率图模型相比，它有三个主要的优势：

1.解决了MEMM模型中标签偏差的问题；

2.与生成式模型相比，条件随机场模型是根据已知的观测序列预测标签序列，不需要遍历所有可能的观测序列，效率大大提升；

3.与基于有向图的贝叶斯模型相比，条件随机场模型放宽了假设条件，最终获得的结果可以更接近真实数据分布。

图1 六类常见模型的关系图[2]

要理解条件随机场，首先需要了解概率图模型的一些基本概念。

概率图模型（Probabilistic Graphical Model）是由图表示的概率分布。对于一组随机变量，其联合概率分布可以由一个无向图来表示，图中的结点表示随机变量，边表示随机变量之间的概率依赖关系。

概率图模型可以让我们更直观地表示和理解随机变量之间的关系，但在实际应用当中，我们更关心如何求联合概率分布，为简化计算我们会引入不同的假设，如要求其满足成对、局部或全局马尔可夫性时，就得到了马尔科夫随机场（Markov Random Field），或称概率无向图模型（Probabilistic Undirected Graphical Model）。

对应给定的概率无向图模型，我们希望将整体的联合概率写成若干子联合概率的乘积的形式，也就是将概率无向图模型进行因子分解（Factorization）。根据Hammersley-Clifford定理[11]，概率无向图模型的联合概率分布可写作图中所有最大团（Maximal Clique）上的函数的乘积的形式，即

为规范化因子（Normalization Factor），定义如下

最大团（Maximal Clique）的定义如下：无向图中任何两个结点均有边连接的结点子集成为团，若是无向图的一个团，且不能再加入任何一个的结点使其成为一个更大的团，则称此为最大团。

称为势函数（Potential Function），要求是严格正的，通常定义为指数函数。

图2 概率无向图举例[2]

举个例子，如图2所示的概率无向图模型，其联合概率分布为

MRF的定义限制了每个结点的概率计算仅受其领域结点的影响，极大地简化了联合概率分布的计算。但MRF是一个生成式模型（Generative Model），对于联合概率分布的估计需要遍历所有可能的观测序列。而在很多情况下，估计边缘概率的效率要更高。由此我们引入条件随机场（Conditional Random Field）：设与是随机变量，是在给定的条件下的条件概率分布。若随机变量构成一个由无向图表示的马尔科夫随机场，即

对任意结点成立，则称条件概率分布为条件随机场。式中表示在图中与结点有边连接的所有结点，表示结点以外的所有结点，，为结点，对应的随机变量。

条件随机场的图模型布局是可以任意给定的，这里主要介绍图像分割问题常用的全连接条件随机场（FC-CRF/DenseCRF）。

设与是两个随机场，中的每个变量表示像素对应的图像输入（如像素的RGB值），表示像素对应的标签（如语义分割中的具体类别）。条件随机场可以用Gibbs分布描述为

其中，为对应的概率无向图，为中团（clique）的集合，每个团对应一个势函数。

对于一个标注，Gibbs能量函数定义为

在FC-CRF模型中，是一个完全图（complete graph），是所有的一元和二元团，将记为，对应的Gibbs能量函数可以表示为

图像与类别标签构成的条件随机场如图3，一元势函数描述每个像素点分配对应标签的代价，二元势函数描述像素点与像素点之间的关系，鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，这样CRF能够使图片尽量在边界处分割。全连接条件随机场会引入较大的计算量，通常通过平均场近似（Mean-field Approximation）提高推断效率。

图3 图像与类别标签构成的条件随机场

条件随机场在病理图像分析中的应用举例

1.通过CRF将空间信息融入神经网络

Baidu Silicon Valley Artificial Intelligence Lab在2018年提出一个神经条件随机场（Neural Conditional Random Field）深度学习框架[3]，用于检测全视野组织学影像中的癌细胞扩散区域。该框架结构如图4，主要包含卷积神经网络特征提取模块（CNN Feature Extractor）和条件随机场（CRF）模块。原始的全视野组织学影像被切分成多个patch，CNN模块提取每个patch的特征，输出Embedding，CRF模块将Embedding作为输入，融合空间信息预测出每个patch是否正常（normal or tumor）的边缘分布。

图4 神经条件随机场NCRF框架结构图[3]

该方法在Camelyon16数据集[4]（训练集包含270张全视野组织学影像，测试集包含130张全视野组织学影像）上进行了测试，最终平均FROC值（Free-response Receiver Operating Characteristic score）为0.8096。图5为其中的一个测试样例，可以看到NCRF给出了更准确的概率分布预测。

图5 NCRF癌细胞扩散区域检测结果示意图[3]（（a）输入的全视野组织学影响（b）实际的癌细胞扩散区域（c）基准方法预测的癌细胞扩散区域概率分布图（d）NCRF方法预测的癌细胞扩散区域概率分布图）

2.通过CRF将多尺度空间信息融入神经网络

伦敦癌症研究院（The Institute of Cancer Research, London）在2019年提出一个基于超像素的条件随机场模型SuperCRF（Superpixel-based Conditional Random Field）[5]，用于细胞分类。该CRF模型结构如图2，细胞和超像素都被看成模型中的结点，训练过程中融合了多个尺度的空间信息，增强了模型对于单个细胞的分类能力。考虑到淋巴细胞会以十分稀疏或十分稠密的状态浸润到肿瘤区域以及基质组织中，对于其他细胞的预测会产生较大干扰，故该CRF模型构建过程中排除了淋巴细胞。

图6 SuperCRF结构示意图[5]

该模型在一个包含105张黑色素瘤全视野组织学影像的数据集上的性能测试结果见表1，准确率（accuracy）为96.48%，精度（precision）为96.44%，召回率（recall）为96.29%，远高于其他几种方法。

表1 SuperCRF的测试结果[5]

3.通过CRF后处理提升模型精度

中山大学机器智能与先进计算重点实验室在2020年将CRF和CNN整合到一起，提出了GECNN-CRF[6]。该工作针对CNN模型在训练过程中由于输入数据随机旋转导致的特征不一致的问题提出了一种特殊的卷积方法，并将CNN模型的概率输出直接用作FC-CRF模型的一元势函数（unary potential），通过使用平均场近似（mean-field approximate）算法来获取边缘分布并计算模型的交叉熵损失以实现端到端的训练。

该工作的消融实验结果见表2，CRF的加入使模型准确率（Accuracy）由79.1%提升到83.7%，AUC由86.4%提升到89.7%。

表2 GECNN-CRF测试结果[6]

Resnet-18与GECNN-CRF模型的测试实例比较如图7，可以看到GECNN-CRF模型能更准确地定位癌症区域。

图7 Resnet-18与GECNN-CRF模型的性能比较[6]

4.通过CRF和CNN交叉搭建多层级框架

沈阳东北大学医学影像与智能分析工程研究中心在2020年提出一个用于胃部组织病理图像分割的层级化条件随机场（Hierarchical Conditional Random Field）模型[7]。该模型结构如图8，构建了像素级势函数（Pixel-Level Potentials）和图像块级势函数（Patch-Level Potentials），其中像素级势函数使用U-Net[8]实现，图像块级势函数则通过ResNet-50[9]、VGG-16[10]、以及Inception-V3[11]三个网络来构造，两种势函数的引入整合了多尺度的信息。此外，在构造二元势函数（binary potential）时，每个像素关联了周围48个像素的信息，每个图像块关联了周围8个图像块的信息。

图8 层级化条件随机场模型结构图[7]

该方法在一个有560张图像的胃部组织数据集上测试结果见表3，可以看到HCRF相较于DenseCRF和U-Net精度有进一步的提升。通过图9所示的测试样例可以看出HCRF引入的多层级的空间信息有助于进一步减少背景区域的误分割，使分割区域具有更好的连续性。

表3 HCRF测试结果[7]

图9 HCRF测试样例[7]

结语

深度学习的方法大大提高了病理图像分析的效率，为更好地利用病理图像的空间特性，条件随机场模型也逐渐融入神经网络框架中，用于改进网络结构或者用作后处理步骤，进一步提升模型精度。此外，条件随机场的一些改进模型也有很大的应用潜力，如[16]中用于图像块分类的多标签条件随机场（multi-label CRF），可以很好地支持病理图像语义分割任务；再如[17]中用于提高遥感图像分类精度的层级化条件随机场（hierarchical CRF），可以应用到同样是大尺寸的全视野组织学影像上。目前关于这些改进模型在病理图像分析方面的具体应用都有待进一步研究。

参考文献

1、Silva R C F. Guide to Cancer Early Diagnosis[J]. Revista Brasileira de Cancerologia, 2017, 63(1): 41-42.

2、Sutton C, McCallum A. An introduction to conditional random fields for relational learning[J]. Introduction to statistical relational learning, 2006, 2: 93-128.

3、Li Y, Ping W. Cancer metastasis detection with neural conditional random field[J]. arXiv preprint arXiv:1806.07064, 2018.

4、Bejnordi B E, Veta M, Van Diest P J, et al. Diagnostic assessment of deep learning algorithms for detection of lymph node metastases in women with breast cancer[J]. Jama, 2017, 318(22): 2199-2210.

5、Zormpas-Petridis K, Failmezger H, Raza S E A, et al. Superpixel-based Conditional Random Fields (SuperCRF): Incorporating global and local context for enhanced deep learning in melanoma histopathology[J]. Frontiers in oncology, 2019, 9: 1045.

6、Dong J, Guo X, Wang G. GECNN-CRF for Prostate Cancer Detection with WSI[C]//Chinese Intelligent Systems Conference. Springer, Singapore, 2020: 646-658.

7、Sun C, Li C, Zhang J, et al. Gastric histopathology image segmentation using a hierarchical conditional random field[J]. Biocybernetics and Biomedical Engineering, 2020, 40(4): 1535-1555.

8、Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015: 234-241.

9、He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

10、Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

11、Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2818-2826.

12、Learning M. An introduction to conditional random fields[J]. Machine Learning, 2011, 4(4): 267-373.

13、李航. 统计学习方法[M]. Qing hua da xue chu ban she, 2012.

14、Hammersley J M, Clifford P. Markov fields on finite graphs and lattices[J]. Unpublished manuscript, 1971, 46.

15、Krähenbühl P, Koltun V. Efficient inference in fully connected crfs with gaussian edge potentials[J]. Advances in neural information processing systems, 2011, 24: 109-117.

16、Zeggada A, Benbraika S, Melgani F, et al. Multilabel conditional random field classification for UAV images[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(3): 399-403.

17、Yang Y, Stein A, Tolpekin V A, et al. High-resolution remote sensing image classification using associative hierarchical CRF considering segmentation quality[J]. IEEE geoscience and remote sensing letters, 2018, 15(5): 754-758.

     往期推荐

关于壁仞科技研究院

壁仞科技研究院作为壁仞科技的前沿研究部门，旨在研究新型智能计算系统的关键技术，重点关注新型架构，先进编译技术和设计方法学，并将逐渐拓展研究方向，探索未来智能系统的各种可能。壁仞科技研究院秉持开放的原则，将积极投入各类产学研合作并参与开源社区的建设，为相关领域的技术进步做出自己的贡献。

扫码关注我们